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(57) Abstract 

A device proposed 
for the capturing of the 
image of the outside 
world on the retina of 
the human eye using a 
scanning capturing device, 
whereby beams from 
the outside world are 
transmitted via the lenses 
of eye glasses, whose 
inner sides are shaped 
as convex image-forming 
beam-splitting mirrors 
and in which a biaxial 
scanner device is provided 
for the capturing of the 
re-dispersed beam of light 
from each point on the 
retina and the outgoing 
parallel beam of light from 
the eye, together with 
its image and deflection, 
transfering the luminous 

beam to an optoelectronic detector for serial capturing of the retinal reflex images 
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(57) Zusammenfassung 

Bs wind eine Vorrichtung zur Aufnahme des auf der menschlichen Netzhaut des Auges abgebildeten Bildes der AuGenwelt mit 
Hilfe einer scannenden Aufnahmevorrichtung vorgeschlagen, bei der die Strahlcn der AuBenwelt durch die Glaser einer Brille transmiltiert 
werden, die auf ihren Innensciten als gewfllbte abbildende Strahlteilerspiegel gestaltet sind und bei der zur Aufnahme des von jedem 
Punkt der Netzhaut zuruckgestreuten und aus dem Auge austretenden parallelen Strahlenbundels und zu ihrer Abbildung und Umlenkung 
eine zweiachsige Scanvorrichtung vorgesehen isl, die das LichlbQndel zu einem opto-elektronischen Dctcktor zur seriellen Aufnahme des 
Netzhautrefiexes weiterleitet. 
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Vorrichtung zur Aufnahme des Netzhautreflexbildes und Uberlagerung 
von Zusatzbildern im Auge 

Die Erfindung betrifft eine Vorrichtung, die es ermoglicht, das auf der Netz- 
haut des menschlichen Auges projizierte Bild der AuBenwelt in Ruckstreu- 
ung aufzunehmen, dieses mit elektronischer Bildverarbeitung zu modifizie- 
ren, bzw. mit zusatzlichen Informationen zu erganzen, und mit Hilfe einer 
Laserstrahlmodulation und -ablenkung zuruck ins Auge mit dem Originalbild 
zu uberlagern. 

Mit dem zunehmenden Bedarf an Informationen und ihrer iibersichtlichen 
bildhaften Visualisierung wachsen die technischen Anforderungen an die 
Aufhahme, Verarbeitung und Wiedergabe von Bildem. Der rasche Fortschritt 
auf diesen Gebieten geht Hand in Hand mit der immer schneller werdenden 
Bildverarbeitung durch Computer. 

Das Hauptanwendungsgebiet der elektronischen Bildverarbeitung ist heute 
die Weiterverarbeitung von Bildem, die von Kameras, Abtastsystemen und 
Sensoren, sowohl im sichtbaren Lichtbereich, als auch in anderen Bereichen 
des elektromagnetischen Spektrums, wie z.B. im Infrarot-, Radio- und 
Rontgenbereich, aufgenommen werden. Nach der elektronischen Bearbeitung 
werden die Bilder als Einzelbilder, bzw. als bewegte Bilder auf einer Bild- 
darstellungsflache (Display) zur Informationsauftiahme des Auges wiederge- 
geben. 

Mit Hilfe der elektronischen Bildverarbeitung ist es einerseits moglich, be- 
sondere Bildinhalte leichter erkennbar zu machen. Hierftir eingefuhrte Tech- 
niken, sind z.B. Ortsfrequenzfilterung, Kantenverscharfung, Bilddatenkom- 
pression, Bildkorrelation, Dynamikreduzierung und Falschfarbenkodierung. 
Andererseits befassen sich weitere Techniken mit der Uberlagerung oder 
Subtraktion von Zusatzbildern aus verschiedenen Spektralbereichen, oder der 
Uberlagerung von gespeicherten Planen, Landkarten, und Zeichnungen in das 
Originalbild. 

Fur viele Anwendungen, ist eine praktisch verzogerungsfreie Bilddarstellung 
fiir das Auge von groBem Vorteil, wie z.B. beim Fuhren eines Flugzeuges, 
eines Schiffes, eines Fahrzeuges oder bei der Steuerung und Uberwachung 
von Prozessen und FertigungsstraBen. Mit der Bildverarbeitung kann eine 
gezielte Erhohung bzw. Reduktion des Informationsgehaltes des aktuellen 
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direkten Bildes durchgefuhrt werden. Die Anwendungen reichen von Erho- 
hung des Bildkontrastes bis zur Einblendung von Zusatzinformationen und 
Kennzeichung von Details und Gefahren. 

In den meisten dieser Anwendungen ist es nachteilig, daB die elektronische 
Kamera ein von dem Auge des Menschen getrenntes "zweites Augensystem" 
darstellt, denn zum einen werden die Bilder von einem anderen Aufhahmeort 
aus gesehen und zum anderen werden auf dem Bildschirm an einem anderen 
Betrachtungsort als den des Auges dargestellt. Das mehschliche Auge mufi 
somit zwischen der direkten und der indirekten Beobachtung, mit unter- 
schiedlichen Betrachtungswinkeln, Bildausschnitten und Groflenverhaltnis- 
sen standig wechseln, was zu korperlichen Beeintrachtigungen und Verzoge- 
rungen bei Entscheidungsvorgangen fuhrt. 

Diese Einschrankung konnte zum Teil mit Hilfe der Technik des "Head-Up- 
Displays (HUD)", bei der Fuhrung von Kampflugzeugen dadurch gelost wer- 
den, daB wichtige Informationen wie Instumentenanzeigen und Zieldaten in 
die offene Brille des Pilotenhelmes und damit in das Gesichtsfeld des Piloten 
eingeblendet werden. Diese Technik wird auch versuchsweise in der Auto- 
mobilindustrie zur Einblendung von lnstrumentenanzeigen in die Wind- 
schutzscheibe eingesetzt, damit der Fahrer von der Beobachtung der vor ihm 
liegenden Strafle nicht abgelenkt wird. 

Eine bekannte Weiterentwicklung dieser Technik ist die sogenannte "virtual 
reality", oder "cyberspace", Hier werden in einer geschlossenen Brille, d.h. 
einer Brille in der die Sicht nach auflen versperrt ist, mit dem HUD bewegte 
raumliche Vollbilder realitatsnah in das Auge projiziert und interaktiv mit 
den Korperbewegungen wie etwa der Fortbewegung, Armbewegung, Finger- 
bewegung, Kopf- und Augenbewegung verandert. 

In dem HUD wird das Bild auf einem Bildschirm generiert und nach Reflek- 
tion an der Brillenoberflache in das Auge eingeblendet. Das Auge sieht sozu- 
sagen uber die Brille als Vollspiegel auf das Display "um die Ecke herum" 
und bei der offenen Brille mit einem teildurchlassigen Spiegel gleichzeitig 
die AuBenwelt. Da das Display mit dem Kopf verbunden ist, folgt das Bild 
den Kopfbewegungen. 

Einige HUDs sind mit einem "eye tracker" ausgeriistet, der die Augenbewe- 
gungen mit Hilfe eines Bewegungssensor am Augapfel oder einer Kamera 
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die Bewegungen der Augenpupillen oder der Gefafistruktur der Netzhaut ver- 
folgt. Das im HUD projizierte Bild kann dann entsprechend den Bewegungen 
innerhalb des Gesichtsfeldes elektronisch verschoben werden. 

Zur akkommodationsfreien Entspannung des Auges kann das Bild des HUDs 
uber die Projektionsoptik ins "Unendliche" versetzt werden. Mit der Einstel- 
lung unterschiedlicher Blickwinkel der beiden Augen zum gleichen Gegen- 
stand, wird ein stereoskopisches, d.h. raumliches Sehen ermoglicht. 

Diese Anwendungen und Techniken verdeutlichen zum einen den hohen 
Stand der elektronischen Bildverarbeitung, die mit vertretbarem technischen 
Aufwand bereits in der Lage ist, bewegte Bilder mit akzeptabler Qualitat fast 
verzogerungsfrei zu verarbeiten, zum anderen den zunehmenden Bedarf an 
direkter Bildiibertragung ins Auge. 

Der heutigen Technik der HUDs sind jedoch Grenzen gesetzt. Die Genauig- 
keit der automatischen Verfolgung der Augenbewegungen mit dem "eye 
tracker" ist wesentlich schlechter als die Ausrichtegenauigkeit und die Bild- 
auflosung des Auges. Als Folge schwebt oder tanzt das eingeblendete Bild in 
dem Gesichtsfeld herum, was zu einer ungenauen Zielfindung und Ermudung 
des Auges fuhrt. 

Aus diesem Grunde beschrankten sich die bisherigen Anwendungen der 
Vollbilddarstellung auf die geschlossene Brille, d.h. die ausschlieCliche Ein- 
blendung von Fremdbildem. Die Anwendungen der offenen Brille mit der 
zusatzlichen Sicht nach auBen sind dagegen noch auf die Einblendung einfa- 
cher Zusatzinformationen in Form von Texten, Symbolen oder Bildumrissen 
beschrankt. 

Eine vollstandige raumliche und zeitliche Uberlappung von eingeblendeten 
Bildem auf das von dem Auge wahrgenommene reale Bild setzt die exakte 
raumliche und zeitliche Ubereinstimmung der beiden Bilder auf der Netz- 
haut voraus. Diese kann erst durch eine direkte Aufhahme des Netzhautbildes 
und durch eine anschlieflende fast verzogerungsfreie deckungsgleiche Pro- 
jektion des neuen Bildes auf das reale Bild hergestellt werden, was die Ziel- 
setzung der Erfindung ist. 

Es soil hier zunachst der Stand der Techniken der Aufhahme von Netzhau- 
treflexbildern, der Bildabtastung aus dem Augeninneren und der Projektion 
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von Laserbildern direkt ins Auge, von der die Erfindung ausgeht, dargestellt 
und diskutiert werden. 

Die technische Realisierung einer kontinuierlichen Abbildung des Netzhau- 
treflexes der Auflenwelt setzt eine verwertbare optische Reflexion der Netz- 
haut voraus. Ihr Reflexionsvermogen ist z.B. von F.C. Delori und K.P. Pflib- 
sen in der Arbeit "Spectral reflectance of the human ocular fundus", Applied 
Optics, Vol. 28, No. 6, (1989) ausftihrlich gemessen worden. Ab dem blauen 
sichtbaren Bereich (450 nm) mit dem niedrigen Wert von 0,2% nimmt das 
Reflexionsvermogen der Netzhautgrube bis 10% im langwelligen roten Be- 
reich (750 nm) monoton zu. Im Bereich der groBten Augenempfindlichkeit 
und des scharfsten Sehens im griin-gelben Bereich zwischen 500 nm und 600 
nm liegt das Reflexionsvermogen dann zwischen 1 % und 2 %. 

Ein Aufhahmesystem, fiir diesen Reflex, muB deshalb fur eine um den Faktor 
50-100 geringere Leuchdichte der Netzhaut als des Gegenstandsraumes aus- 
gelegt sein. Eine weitere Beeintrachtigung der verfugbaren Lichtmenge ist 
durch die GroBe der Augenpupille von 1 -7 mm gegeben, die im Vergleich zu 
den ublichen technischen Aufhahmesystemen wie Photo- und Videokame- 
ras, relativ klein ist. Die Aufhahme des von der Netzhaut reflektierten Lichtes 
setzt aus diesen beiden Griinde einen besonders empfindlichen Lichtsensor 
voraus. 

Es ist bekannt, daB ein strukturiertes Reflexbild im Bereich der Netzhautgru- 
be oder Fovea centralis bei der Abbildung im Auge entsteht. Dies wird z.B. 
von Campell, F.W. and Green, D.G.in dem Artikel : "Optical and Retinal 
Factors Affecting Visual Resolution", J. Physiol. 181 . 576-593 (1965) be- 
schrieben. Hier wurde eine hell erleuchtete ausgedehnte Gitterstruktur auf die 
Netzhaut abgebildet und das durch das Auge reflektierte Bild mit einem Tei- 
lerspiegel aus dem Strahlengang abgelenkt und auBerhalb des Auges in einer 
Bildebene scharf abgebildet. Die flachenhafte Abbildung des Gitters nach 
der Reflexion an der Netzhaut, d.h. nach zweimaligem Durchgang durch das 
Auge, diente der Bestimmung der ModulationsUbertragungsfiinktion des Au- 
ges. Die photometrische Auswertung zeigte daB die Qualitat des Reflexbil- 
des, der von dem Auge selbst wahrgenommene Bildqualitat sehr nahe 
kommt. 

Die von Campell u.al. verwendete geschlossene statische Aufhahmevorrich- 
tung mit extrem heller Bildbeleuchtung (Blitzlicht) am ruhig gestellten Auge 
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ist nicht geeignet urn die lichtschwachen dynamischen Bilder der Auflenwelt 
auf der Netzhaut bei den raschen, naturlichen Eigenbewegungen des Auges 
aufzunehmen. Dies erfordet lichtempfindliche, schnelle Detektoren und eine 
Aufhahmetechnik, die in dem offenen Strahlengang Fremdlicht sehr effizient 
unterdriickt und Bilder mindestens mit der Wiederhoifrequenz der ublichen 
Videonormen aufhehmen kann. 

Heute kommen dafiir in Frage die CCD-Kameras, die alle Bildpunkte parallel 
nach einer festen Integrationszeit aufhehmen, und seriell scannende Bildauf- 
nahmesysteme mit Einzeldetektoren (Photodioden oder Photomultipliern), in 
denen die Bildpunkte zeitlich hintereinander abgetastet werden. Beide Tech- 
niken sind den ublichen Videonormen angepaBt. 

Ein grundsatzlicher Vorteil der Verwendung der CCD-Aufhametechnik ist 
die lange Integrationszeit in jedem Bildpunkt von z.B. 20 ms, gegenuber der 
kurzen Verweildauer in jedem Bildpunkt von nur 40 ns beim Scannen. Die 
serielle Aufhahmetechnik hat jedoch fur die Aufhahme der sehr schwachen, 
schnell veranderlichen Lichtsignalen bei dem stark verrauschtem Hintergrund 
gegenuber der parallelen Aufhahmetechnik eine Reihe anderer Vorteile, die 
den Nachteil der kurzen Integrationszeit wettmachen. Diese sind: 

• serielle Signalverarbeitung, die eine direkte analoge Weiterverarbei- 
tung des Bildes in Echtzeit ermoglicht 

• effiziente Streulichtunterdriickung durch das kleine momentane Ge- 
sichtsfeld der Abtastung 

• rauscharme hohe Vorverstarkung der verwendeten Avalanche- 
Photodioden und Photomultipliern 

• hohe Signaldynamik, die den starken Variationen der Bildhelligkeit 
auf der Netzhaut entgegenkommt 

• effiziente analoge Rauschunterdriickung, z.B. durch phase-lock-in- 
Detektion bzw. Signal-Korrelation 

• einfache Behebung von Abbildungsfehlern 
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Fur die Zielsetzung der Erfindung ist jedoch der entscheidende Vorteil der 
seriellen Bildabtastung die weitere Moglichkeit sie mit einer zeitversetzten 
synchronen seriellen Laser-Bildprojektion ins Auge zu kombinieren erCffhet. 

Wegen dieser Vorteile der seriellen Aufhahme gegeniiber Film und Video- 
aufhahmen werden sie seit Anfang der funfziger Jahre vor allem ftir die Bild- 
aufhahme im Mikroskop eingesetzt. Eine serielle Abtastung kann dreierlei 
realisiert werden, erstens durch eine flachenhafte Beleuchtung des Gegen- 
standes und einer punktformigen Abtastung mit einem Photoempfanger, 
zweitens der Abtastung des Gegenstandes mit einer punktformigen Licht- 
quelle und flachenhafter Aufhahme mit dem Photoempfanger und drittens 
durch die punktformige Beleuchtung und die gleichzeitige punktformige 
Abtastung mit dem Photoempfanger mit Verwendung der gleichen Scanein- 
richtung. Die zwei ersten Methoden werden als "flying spot" und die dritte 
als "confocal scanning" Aufhahmetechnik bezeichnet. 

In den beiden ersteren ist entweder die Quelle oder der Empfanger starr und 
dafur jeweils der Empfanger oder die Quelle auf dem Gegenstand in Bewe- 
gung. In dem dritten werden Quelle und Empfanger gemeinsam in dem scan- 
nenden Abtastpunkt (konfokal) abgebildet, aber sind gegeneinder unbeweg- 
lich. 

Eine Aufhahme des flachenhaften Netzhautreflexes der Aufienwelt mit einem 
scannendem Photoempfanger wie die Erfindung vorschlagt, ist in diesem 
Sinne die erste Art der "flying spot" Bildaufhahmetechnik. Eine zeitversetzte 
synchrone Laserbildprojekton mit Hilfe der gleichen Scaneinrichtung kann 
im Sinne der gemeinsamen punktformigen scannenden Abbildung von Be- 
leuchtungsquelle und Photoempfanger auf der Netzhaut als eine konfokale 
scannende Technik aufgefaBt werden, aber keine konfokal scannende Auf- 
nahmetechnik, weil die Rollen des Photoempfangers und des Lasers gegen- 
iiber der konventionellen Anwendung vertauscht sind. In der Erfindung die- 
nen die Empfangssignale zur zeitversetzten Modulation der Laserquelle, bei 
dem tiblichen Verfahren dient die Laserquelle zur Beleuchtung beim gleich- 
zeitigen Empfang der Lichtsignale. 

Um den Neuheitsgrad der Erfindung und ihrer technischen Ausfuhrungen 
besser sichtbar zu machen soil der Stand der Anwendungen der Bildaufhah- 
me und Laserprojektion ins Auge nachfolgend genauer dargelegt werden. 



WO 98/05992 



PCTYEP97/04188 



O.Pomerntzeff und R.H. Webb haben als erste die zweite Art der "flying 
spot" Aufhahmetechnik mit Hilfe eines gescannten Laserstrahles als Be- 
leuchtungsquelle und einem starren groBflSchigen Photomultiplier als Emp- 
fanger zur Aufhahme der Innenstruktur des Auges in dem US Patent 
4,213,678 von Sept. 1980 "Scanning Ophthalmoscope for Examining the 
Fundus of the Eye" beschrieben. 

Eine Erweiterung dieser Technik zu einer konfokalen Anordnung mit dem 
gleichzeitigen scannen der Laserstrahl und der Empfangsachse des Pho- 
tomultipliers, wurde von R. H. Webb, G. W. Hughes und F.C. Delori in dem 
Artikel "Confocal scanning laser ophthalmoscope ,, in Applied Optics, Vol. 
26, No. 8, pp 1492-1499 (1987) vorgestellt. 

In diesem Gerat wird die Netzhaut durch einen Laserstrahl rasterfdrmig abge- 
tastet. Der Laserstrahl beleuchtet Punkt fur Punkt und Zeile fur Zeile die 
Vorlage. Der Photoempfanger (Photomultiplier) mifit das jeweils reflektierte 
Licht und setzt die Mefiwertfolge in ein Videosignal um. Ein Fernsehmonitor 
stellt das Videosignal schliefllich als Bild dar. Diese drei Vorgange erfolgen 
exakt synchron. Wahrend der Laserstrahl Zeile fur Zeile den Augenhinter- 
grund abtastet, wird gleichzeitig das Femsehsignal aufgebaut. 

Der Laserstrahl durchlauft zunachst einen Modulator, iiber den die Beleuch- 
tungsintensitat gesteuert werden kann. Die horizontale Zeiien-Ablenkung 
wird meist mit einem schnell drehenden Polygonspiegel, die Vertikalablen- 
kung durch einen Schwingspiegel durchgefuhrt. Der Drehpunkt der Abtast- 
bewegung liegt in der Puppillenebene des Auges. Das vom Augenhintergrund 
reflektierte bzw. zurtickgestreute Licht wird iiber die gesamte Pupillendff- 
nung gesammelt und dem Photoempfanger uber eine Abbildungsoptik zuge- 
leitet. Die Strahlablenkung wird dadurch riickgangig gemacht, und man er- 
halt ein stationares Lichtbiindel, das auf einer kleinen Detektorflache abge- 
bildet wird. 

Die Moglichkeit der Verwendung der konfokalen Abbildung im Ophthalmo- 
skop zur Projektion von kiinstlichen Bildem mit Hilfe einer Laserprojektion 
in das Auge, wurde von Webb u. al. in dem obengenannten Artikel erkannt 
und wie folgt beschrieben: ..."The laser beam is deflected by a fast (1 5-kHz) 
horizontal scanner and a slow (60-Hz) vertical scanner to project a standard 
format TV raster on the retina. Modulation of the beam permits projection of 
graphics or even gray scale pictures in the raster. While the patient is seeing 
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the TV picture projected on his/her retina, an image of the retina is displayed 
on a TV monitor " 

Die Direktprojektion von modulierten Lichtreizen und Mustern wird in den 
modernen Laser-Scan Ophthalmoskopen (wie z.B. von der Firma Rodenstock 
in Munchen) hauptsachlich fur Visusanalysen, Video- Visusbestimmungen 
und Kontrastempfmdlichkeitsmessungen bei jeweils nur einer Laserwellen- 
lSnge verwendet. 

Weitere Vorschlage zur direkten Bilderiibertragung mit Lasem ins Auge sind 
aus den folgenden zwei Schriften bekannt: 

In der europaischen Patentschrift 0 473 343 Bl von Nov. 1995 der Firma 
Sony Corporation mit dem Titel "Direct viewing picture image display appa- 
ratus" ist ein Direktsicht-Bildwiedergabegerat bekannt, das im wesentlichen 
nur die technischen Losungswege aus den friiher bekannten und hier bereits 
zitierten Veroffentlichungen der konfokalen Abbildung beinhaltet, und in den 
auf dem markteingefuhrten Laser Scanning-Ophthalmoscopen, wie der Firma 
Rodenstock Instrumente in Munchen realisiert worden sind. 

Die technische Losung zur Erweiterung der Bildilbertragung von nur einer 
auf drei Farben, die in den Anspriichen 1 0 und 1 1 dieses Patentes beschrie- 
ben wird, ist auch in anderen Laser-Display-Anlagen seit vielen Jahren reali- 
siert und stellt deshalb ebenso keine Neuheit dar. Die Verschiebung der Tie- 
fenlage der Bilder auf der Netzhaut, die in den Anspriichen 12 bis 16 be- 
schrieben ist, wird durch gleichartige Maflnahmen in den bereits existieren- 
den Geraten durchgefuhrt. 

Die Trennung von zwei Strahlen durch Polarisationsunterscheidung wie sie 
in Anspruch 16 bis 19 und in Fig.6 des Patentes beschrieben wird, um ein 
gleiches Bild in beide Augen zu projizieren, ist grundsatzlich eine ungeeigne- 
te Methode um "echte" dreidimensionale Bilder darzustellen, da diese Bilder 
hier keinen perspektivistischen Unterschied aufweisen. Daruber hinaus er- 
laubt diese Methode keine dynamische und individuelle Anpassung an die 
Augenausrichtung und ist deshalb technisch schwer umsetzbar. 

In einer zweiten europaischen Anmeldung der Firma Motorola Inc. Nr. 0 562 
742 Al mit der Bezeichnung "Direct retinal scan display" von August 1993 
wird ein Direktsicht-Bildwiedergabegerat beschrieben, das wie das oben be- 
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schriebene Patent von Sony auch die direkte Bildubertragung auf die Netz- 
haut betriffl, jedoch mit dem Unterschied, dafi die Projektion liber die Urn- 
lenkung iiber eine dem Menschen aufgesetzte Brille durchgefuhrt wird. 

Diese Patentanmeldung bringt gegemiber der lange bestehenden Technik 
keine neue LdsungsansStze. Die direkte Montage des gesamten Displays am 
Kopf des Betrachters im Anspruch 4 bzw. die Verwendung einer Umlenkung 
des Strahlenganges des Projektors iiber eine Brille im Anspruch 5 ist bei 
"virtual-reality" Brillen bzw. bei Head-Up-Display im Pilotenhelmen bereits 
eingefuhrt. 

Damit eine Abbildung auf der Netzhaut gelingt, mtissen verschiedene opti- 
sche Anforderungen an die Laserstrahlumlenkung erfxillt werden, die auBer 
der besonderen Auslegung der Strahlfuhrung nach der Strahlablenkung, auch 
eine spezielle Brillenglaswolbung erfordert. Die Wege zur Losung dieser 
grundlegenden optischen Problematik werden in dieser letztgenannten Pa- 
tentanmeldung jedoch nicht betrachtet oder erwahnt. 

Beschreibung der Erfindung 

Die Erfindung schlagt eine seriell arbeitende Aufhahme- und Projektions- 
vorrichtung vor, die es ermoglicht, die auf der Netzhaut des menschlichen 
Auges beim naturlichen Sehvorgang erzeugten Bilder der AuBenwelt aufzu- 
nehmen und mit elektronischer Bildverarbeitung zu modifizieren, bzw. zu 
erganzen. Dieses Bild dann nachfolgend mit Hilfe von Laserstrahlbildprojek- 
tion zuriick ins Auge zu projizieren und mit dem Originalbild synchron zu 
uberlagern. Die Erfindung sieht ferner vor, dafl sowohl bei der Aufhahme, als 
auch bei der Projektion gleichzeitig die Strahlung aller Grundfarben Rot, 
Grtin und Blau detektiert bzw. projiziert wird. 

Diese Aufgabe ist grundsSttzlich eine andere als die eines konfokalen Laser- 
Scanning-Opthalmoskops bei dem die Netzhaut im gleichen Abtastvorgang 
gleichzeitig beleuchtet und abgebildet wird, denn in der Anordnung gemaB 
der Erfindung wird in einem ersten Abtastzyklus das flachenhafte Reflexbild 
der AuBenwelt nach dem "flying spot" Verfahren abgetastet und erst in einem 
zweiten zeitlich getrennten Abtastzyklus das nachgearbeitete Laserbild auf 
die Netzhaut projiziert. In einem dritten Abtastvorgang wird wieder das Re- 
flexbild gewonnen, in dem vierten wieder das Laserbild projiziert usw. Da 
diese Vorgange zeitlich so schnell wechseln, entsteht fur das Auge, wie bei 
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der Betrachtung vom Fernsehen oder Film, ein kontinuierlicher Ablauf in 
dem das Laserbild synchron und deckungsgleich, unabhangig von den Au- 
genbewegungen, dem Originalbild folgt. 

Die Erfindung unterscheidet sich auch von alien dem Anmelder bekannten 
Vorschlagen zur direkten Laserprojektion ins Auge, sowohl der Projektion 
von Fremdbildem in der geschlossenen Brille (cyberspace), als auch der Zu- 
satzbildern in einer offenen Brille (HUD), durch die hier zum ersten Male 
vorgeschlagene direkte Koppelung der Projektion mit dem momentanen Bil- 
dinhalt der AuBenwelt und die neuartigen technischen Ausfiihrungen zu ihrer 
Realisierung. 

Die Aufhahme und bildhafte Weiterverarbeitung des Netzhautreflexes ist 
durch den raschen Forschritte in der Aufhahme- und Verarbeitungstechnik 
von schwachen optischen Signalen moglich geworden. Die Bestrahlungsstar- 
ke die die Netzhaut in der natiirlichen Umgebung ausgesetzt ist betragt von 
der hellsten AuBenbeleuchtung von 10*4 w cm-2 bis etwa 10" 7 W cm -2 . 
Bei schwacher Innenbeleuchtung, unter Lesebedingungen betragt sie 10~ 5 W 
cm" 2 bis 10-6 W cnr 2 (siehe z.B. "Safety with Lasers and Other Optical 
Sources", D. Sliney and M. Wolbarsht, 1980). Mit einem Photon-Counting 
Photomultiplier und punktueller Abtastung mit Lasern in einer TV-Norm 
wurde eine Ernpfindlichkeit bis zu 2 xl0"5 w cm-2 bei einem Signal- 
Rauschverhaltnis von 5 erreicht (s. R.H.Webb et al., "Flying spot TV oph- 
thalmoscope", Applied Optics, Vol. 19, No. 17 , pp.299 (1980). 

Eine Erhohung der Ernpfindlichkeit bis lO"? W cm~2 kann z.B. erreicht wer- 
den durch verbesserte Rauschunterdriickung, eine verringerte Ortsauflo- 
sung, bzw. durch die Verwendung eines Spiral-Scans anstatt des TV- 
Rasterscans, der eine reduzierte Scan-Geschwindigkeit in der Mitte des Ge- 
sichtsfeldes und damit eine verlangerte Integrationszeit dort bietet. 

Die Aufgabe der Erfindung wird durch die in Anspruch 1 und 2 angegebenen 
Merkmale gelost In den Unteranspriichen sind vorteilhafte Ausgestaltungen 
und Weiterbildungen angegeben. 

In der nachfolgenden Beschreibung wird die Erfindung anhand von Ausfxih- 
rungsbeispielen erlautert. Die Figuren erganzen diese Erlauterungen. Es 
zeigt: 



WO 98/05992 PCT/EP97/04188 

Fig. I ein Schemabild eines Ausflihrungsbeispieles der Aufhahme- und 
Projektionsvorrichtung ins Auge nach Anspriichen 1 bis 5 in einer 
Ausfuhrung wo die Abbildung zwischen dem Scanner und Auge 
uber zwei konkave reflektierende Flachen einen Hilfspiegels HS 
und die Innenseite der Brille BG durchgefuhrt wird. 



Fig.2 ein Schemabild eines Ausflihrungsbeispieles der Aufhahme- und 
Projektionsvorrichtung ins Auge nach Anspriichen 1 bis 4 und 6 
in einer Ausfuhrung wo die Abbildung zwischen dem Scanner und 
dem Auge an der konkaven Hilfsspiegelflache BG', einer konvexen 
Hilfsspiegel HS' und der konkaven Innenseite des Brillenglases 
BG durchgefuhrt wird. 



Fig. 3 ein Schemabild eines Ausflihrungsbeispieles des starren Strahlen- 
ganges zwischen Aufhahme- und Projektionsvorrichtung mit Pho- 
toempfangern und Lasermodulatoren nach Anspruch 14 

Fig. 4 ein Schemabild eines Ausflihrungsbeispieles der flexiblen Kopp- 
lung der Aufhahme und Projektionsvorrichtung an den Strahlum- 
schalter und Scaneinheit mit Hilfe von flexiblen Glasfasern nach 
Anspruch 15 

Fig.5 ein Schemabild eines Ausflihrungsbeispieles der Anbringung der 
Aufhahme- und Projektionsvorrichtung fur beide Augen in einem 
Brillengestell. 

Fig. 6 ein Schemabild eines Ausfuhrungsbeispiel des Strahlenganges im 
Scanner bei Aufhahme des Netzhautreflexes und anschlieBender 
Projektion des Bildes auf die Gegenstande der AuBenwelt, durch 
eine Umschaltung des horizontalen Scanspiegels um einen Winkel 
von 90° nach Anspruch 23. 

Fig. 7 ein Schemabild der opto-elektronischen und elektronischen Unter- 
einheiten und ihren Verbindungen. 

Fig. 8 ein Schemabild des zeitlichen Ablaufs der Abtast- und Laserpro- 
j ektions vorgange 



WO 98/05992 PCT/EP97/04188 

Fig. 9 ein Schemabild des in Mikrobauweise im Brillengestell integrierten 
Scanner mit Glasfaserkopplung zu einer tragbaren Empfangs- und 
Projektionseinheit und drahtloser Ubertragung zum Bildverarbei- 
tungscomputer. 

Die Erfindung schlagt gemafl dem Anspruch 1 eine scannende Aufhahme- 
vonrichtung vor um den lichtschwachen Reflex von Gegenstande der AuBen- 
welt AW auf der Netzhaut NH des Auges AA seriell aufzunehmen wie, in 
den Fig. 1 bis Fig. 3 dargestellt ist. 

Die gleiche Abbildungs- und Scanvorrichtung wird auch verwendet um das 
verarbeitete Bild mit Hilfe von Lasern und Bildmodulatoren iiber den entge- 
gengesetzten Lichtweg auf die Netzhaut zeitversetzt gemaB Anspruch 2 zu 
projizieren, wie auch in Fig. ] bis Fig. 3 dargestellt ist. 

Der zentrale Gegenstand der Erfindung ist eine spezielle Brille, die einem 
Betrachter aufgesetzt wird, wie in Fig. 5, Fig. 6 und Fig. 9 gezeigt ist. Die 
Brillenglaser BG dienen als Strahlteiler. In Transmission, fur das Licht aus 
der Auflenwelt und in Reflexion, als eine Abbildungsfl&che des von der 
Netzhaut durch das Auge riickgestreuten Lichtes, das mit Hilfe weiterer 
Abbildungselemente und eines zweiachsigen Scanner fur die Horizontal- 
HSS und Vertikalablenkung VSS einem Photempfanger zugefiihrt wird (Fig. 
1 bis Fig. 4) 

Der Strahlengang wird gleichzeitig derart gestaltet daB die Verlangerung der 
Sichtlinie vom Detektor durch die Brille immer in der absorbierenden Schicht 
einer Strahlungssenke SS mundet. Die Verlangerung der Sichtlinie des Auges 
durch die Brille lauft dagegen zur AuBenwelt AW (Fig. 1 bis Fig. 6). 

Die einfachste Methode der Strahlteilung an den Brillenglasern BG ist die 
Verwendung von 50% transmittierenden und 50% reflektierenden Spiegel- 
glasern. Es konnen auch aktive elekronisch steuerbare Spiegel, die von voll- 
standiger Transmission bis vollstandiger Reflexion in den beiden Abtastzy- 
klen umschalten, eingesetzt werden. 

Das Auge AA bildet von der AuBenwelt AW parallele oder nahezu parallele 
Strahlbiindel auf der Netzhaut ab. Der Drehpunkt der Strahlbiindel bei unter- 
schiedlichen Betrachtungswinkel zur AuBenwelt liegt in der Pupille des Au- 
ges AP. 
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Die Erfindung geht von einer gleichzeitigen Aufhahme und Projektion in 
beide Augen wie in Fig. 5 und Fig. 6 gezeigt wird und damit einem weitge- 
hend identischen Strahlengang fur das linke und rechte Auge. Bei Fehlsichti- 
gen, auch mit unterschiedlicher Brechkraft des linken und rechten Auges, 
sieht die Erfindung vor, daB entweder die Brillenglaser in ihrer Brechung 
durch entsprechende unterschiedliche Auslegung der Wolbung der AuBen- 
seite und der Innenseite individuell angepafit sind, bzw. daB Kontaktlinsen 
getragen werden. Fur Normalsichtige ist die Wolbung der Innen- und AuBen- 
seite der Brillenglaser die Brillenglaser BG identisch. 

Das von jedem einzelnen Bildpunkt der Netzhaut aus dem Auge zurriickge- 
streute Licht ist in gleicher Weise eine nahezu paralleles Strahlenbiindel, der 
den identischen Weg wie das einfallende Licht in entgegengesetzter Richtung 
auf die Innenseite des teilweise reflektierenden Brillenglases BG fallt. Die 
Krummung dieser Flache wird so gestaltet, daB gemeinsam mit der Augen- 
linse ein zweites Bild des Bildpunktes auf der Netzhaut in der Zwischenebe- 
ne ZE entsteht (Fig. 1). Ein Hilfsspiegel HS, kollimiert die Strahlen erneut 
und bildet sie so ab, daB sie iiber den gemeinsamen Drehpunkt (sie auf der 
anderen Seite durch die Augenpupille) auf der Achse des horizontalen Scan- 
nerspiegels HSS verlauft. Eine vertikale Ablenkung wird durch einen zweiten 
Scannerspiegel VSS durchgefuhrt. 

Die Abbildung aus und ins Auge mit Hilfe der beiden Spiegel, Hilfsspiegel 
und Brillenglasspiegel bei gleichzeitiger freier Sicht durch das Brillenglas 
BG zur AuBenwelt AW erfordet relativ starke Strahlablenkung. Die gegen- 
laufige Umlenkung iiber zwei konkave Spiegelflache hebt zum Teil die dabei 
auftretenden Abbildungsfehler auf. Der gegenlaufige sonst identische Strah- 
lengang von Bildaufhahme und Bildprojektion vermeidet auch zum groBen 
Teil die Entstehung von Bildverzerrungen im Auge auf. 

Bei spharischen Spiegeln treten jedoch wegen ihren starken Abbildungsfeh- 
lern trotzt der relativ kleinen erforderlichen Ablenkwinkel von < +/- 1 0° rest- 
liche Bildstorungen auf Fur die Abbildung und Umlenkung ins Auge sind 
deshalb hochwertigere Spiegelsysteme, wie konkave Parabolspiegel und el- 
liptische Spiegel in Anspruch 5 vorgesehen. Eine effiziente Reduktion der 
Abbildungsfehler ist nach Anspruch 6 auch mit Hilfe der Spiegelung an zwei 
konkaven BG und BG'und einer konvexen Flache HS moglich. Hier kann als 
Vollspiegelflache BG' die zweite Halfte des Brillenglases, gleicher konkaven 
Krummung wie BG verwendete werden. 
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Die Erfindung geht davon aus daB jede Art von zweiachsigen Bildscannern 
verwendet konnen wie z.B. Drehspiegel oder Polygonspiegel fur Zeilen- 
ablenkung und Schwingspiegel fur Vertikalablenkung bzw. akusto-optische 
Ablenkeinheiten fur beide Achsen 

Mit einer rasterfbrmigen Abtastspur mit getrennter horizontaler und vertika- 
ler Ablenkung kann der Aufbau des Bildes konform mit den gebrauchlichen 
Video-Normen wie VHS und NTSC und HDTV gestaltet werden (Anspruch 
9). 

Es konnen aber andere Abtastspuren, die dem Bildaufbau des Auges besser 
angepafit sind als der Rasterscan, verwendet werden, wie z.B. ein Spiralscan. 
Die groBte Sehscharfe in der Netzhaut (Retina) ist im Bereich der sogenann- 
ten Fovea centrales, die im Gesichtsfeld nur einen kleinen Winkelbereich von 
etwa +/- 2° um die Sehachse aufhimmt. Wenn sich die Aufrnerksamkeit auf 
ein Objekt richtet, werden die Augen normalerweise so bewegt, daB die vom 
fixierten Objekt ausgehenden Strahlen auf die Fovea centralis fallen. 

Ein Spiralscan der Bildabtastung, in dem die Aufenthaltsdauer des Abtast- 
strahles in Richtung zur Sehachse kontinuierlich zunimmt, ware dadurch we- 
sentlich besser dem Aufbau der Netzhaut angepaBt als ein Rasterscan. Durch 
die verlangerte Aufenthaltsdauer wird dadurch auch ein entsprechend hoheres 
Signal/Rauschen-Verhaltnis in dem mittleren Bereich erreicht. 

Die Erfindung sieht aus diesen Grunden aufler der Verwendung eines Raster- 
scans in Anspruch 9 auch in dem Anspruch 10 auch vor, dafl durch eine ent- 
sprechende Auslegung und Ansteuerung der beiden Strahlablenkeinheiten ein 
Spiralscan auch verwendet werden kann. 

Wie in einem Laser-scanning-ophthalmoskop wird der Strahlengang zwi- 
schen dem Projektions- und Empfangskanal mit Hilfe eines Schaltspiegels 
SUS getrennt. Da der Durchmesser des Projektionsstrahls wegen der guten 
Bundelung und dem kleinen Durchmesser der Laserstrahlen kleiner ausge- 
legt werden kann als der Empfangsstrahl bietet sich die MSglichkeit an einen 
Lochspiegel zur Trennung der beiden Strahlengange wie in Fig. 3 und Fig. 4 
dargestellt ist, zu verwenden. Eine effizientere Methode, die sich wegen der 
zeitlich altemierenden Verwendung der beiden Strahlengange ergibt, ist der 
Einsatz eines Kippspiegels der die Strahlengange synchron mit der Abtastung 
umschaltet. Diese Losung hat die Vorteile der geringeren optischen Verluste 
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im Empfangskanal und der besseren optischen Abschirmung des direkten 
ubersprechens von Projektions- in den Empfangskanal. 

Im Strahlgang der Projektionseinheit hinter dem Strahlschalter SUS ist wie in 
Fig.3 gezeigt sieht die Erfindungsmeldung im Anspruch 17 eine Fokus- 
siereinrichtung FE, die die Gr6Be des Laserbildflecks in Anspruch 1 7 und des 
abgetasteten Flecks beim Empfang GFB in Fig. 3 auf der Netzhaut einstellt 
Zur Einstellung des von den Photomultipliern gesehenen momentanen Ge- 
sichtsfeldes dient nach Anspruch 1 8 eine gemeinsame Gesichtsfeldblende 
GFB im Strahlengang zweier Linsen. Die Einstellung der Gesichtsfeldblenen 
ist zur Anpassung an die Beleuchtungsverhaltnisse an der Netzhaut und zur 
Einstellung der erwiinschten Ortsauflosung notwendig. Es ist vorgesehen, 
daB beide Einstellung fiber Aktoren automatisch nach Rechnerbefehl durch- 
geflihrt werden konnen wie in Fig. 7 dargestellt wird. 

Es ist in Anspruch 12 vorgesehen, daB der Netzhautreflex mit der Verwen- 
dung von dichroitischen Filtem (DFR, DFG und DFB) und drei getrennten 
Detektoren (PMR, PMG und PMB) in bis zu drei Farbkanalen aufgeteilt ist 
und damit ein weitgehend unverfalschtes Farbbild aufgenommen werden 
kann. Auf der Laserseite wird ebenso mit dichroitischen Strahlteilern die 
Strahlen von bis zu drei Lasern im roten, griinen und blauen Spektralbereich 
(LR, LG, LB) nach der getrennten Bildmodulation jeder Farbe (MR, MG, 
MB) auf einer gemeinsamen Achse vereinigt. 

Zur farbtreuen Bildaufhahme wird das optische Signal mit dichroitischen 
Filtem DFR DFG und DKB im Empfangskanal in die drei Farbkomponenten 
vor den drei Photoempfangern, verzugsweise Photomultipliern PMR, PMG 
und PMB in die drei Grundfarben zerlegt und getrennt vermessen. Wegen der 
schwachen Lichtsignale werden vor allem Photon-counting Verfahren zum 
Einsatz kommen 

Die Erfindung sieht ferner vor, dafl das von dem Detektor aufgenommene 
elektronische Bild nach einer Bildverarbeitung mit Hilfe von Laserstrahl- 
quellen und -modulatoren wieder in ein serielles optisches Bild umgewandelt 
wird, und in einem zweiten Bildzyklus mit der gleichen optischen Einrich- 
tung, -jetzt in der Funktion als Strahlablenkeinheit (Laser-Scanner) - nach 
Reflexion an der Brillenglasinnenflache in das Auge synchron, aber zeitver- 
setzt mit der Abtastung des Originalbildes zuruckprojiziert wird. 
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Die Erfindung schlagt vor in Anspruch 20 die Perioden der Bildaufhahme 
und Bildprojektion zeitlich zu trennen, d.h. alternierend durchzufiihren wie in 
Fig. 8 dargestellt ist urn eine Stoning der Aufhahme des schwachen Netz- 
hautbildes der Aufienwelt durch die lichtstarkere Projektion zu vermeiden. In 
einem ersten Bildzyklus wird z.B. das Netzhautreflexbild aufgenommen und 
in dem zweiten wird das verarbeitete elektronische Bild in das Auge proji- 
ziert. In dem dritten Bildzyklus wird eine Aufhahme des Netzhautreflexbildes 
durchgefiihrt, in dem vierten wird wieder die Zuriickprojektion durchgefiihrt, 
usw. 

Wenn dieser Bildwechsel schnell genug ist, sorgt die Tragheit der Gesicht- 
sinnes dafiir, dafi beide Bilder dem Betrachter uberlagert erscheinen, voraus- 
gesetzt, dafl die Zeitverzogerung fur das in das Auge eingeblendete Bild un- 
terhalb der Bewegungsdauer und Wahrnehmungszeit des Auges liegt, und 
dafl die Stabilitat und Auflosung des eingeblendeten Bildes mit der Auflo- 
sung des Auges vergleichbar ist. 

Damit, sowohl die unbewuflten schnellen Sakkadenbewegungen des Auges 
mit einer mittleren Amplitude von 5 Bogenminuten und einer Dauer zwi- 
schen 10 und 20 msec, als auch die schnellen Augenbewegungen von 20°- 
30°/sec beim Verfolgen eines bewegten Objektes iiber einen grofleren Winkel 
erfaflt werden konnen, mufl die Bildwiederholfrequenz ausreichend hoch 
sein. Mit einer Wiederholfrequenz zwischen 50 Hz bis 100 Hz, sowie in der 
Fernsehen- und Computertechnik, ist die Aufhahme den schnellsten Bewe- 
gungsvorgangen des Auges weitgehend angepaBt. Dies gilt, sowohl fur einen 
Raster- als auch einen Spiralscan. 

Weitere technische Anforderungen an die Aufhahmevorrichtung betreffen die 
GroBe des erfaBten Gesichtsfeldes und die Bildauflosung der hier vorge- 
schlagenen Vorrichtung. Fur die meisten Anwendungen ist der Bereich des 
scharfsten Sehens mit einem Durchmesser von 1 ° und einer Anzahl von 7 
Millionen Zapfen (Bildpixel) in der Netzhautgrube (Fovea) aber auch der an- 
grenzende Bereich mit wesentlich geringerer Auflosung bis etwa 10° Durch- 
messer von Interesse. Fur diese Unterschiedlichen Auflosungsanforderungen 
ist gerade der Spiralscan der Abtastspur besonders geeignet. 

Als Lichtquellen zur Riickprojektion der Bilder ins Auge sind Halbleiterlaser 
bzw. miniaturisierte Festkorperlaser vorgesehen mit einer niedriger Dauer- 
strichleistung (<300 |iW), die keine Gefahrdung des Auges verursachen kon- 
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nen. Mit der Verwendung von Halbleiterlasern konnte die Bildmodulation 
direkt ttber ihre Stromversorgung durchgefiihrt werden. Damit alle Farben 
erzeugt werden empfiehlt sich die Verwendung von drei Lasern mit den 
Grundfarben rot, grim, blau. Wie das bekannte Farbdreieck des menschlichen 
Gesichtsinnes zeigt konnen alle anderen Farben sowie die Unfarben grau und 
weiB durch Farbsummation von monochromatischen Laserlinien dieser Far- 
ben gebildet werden. Die Erfindung beinhaltet auch die Moglichkeit der 
Verwendung von einzelnen Farben als monochromatische Losung vor. 

Die Erfindung sieht wie in Fig. 7 dargestellt einen Signal-Prozessor SP vor, 
der das direkte Bild von der Netzhaut elektronisch bearbeitet und alle Funk- 
tionen der Vorrichtung sowie die von Scannern VSS/HSS und Laserfleck- 
einstellung und Grofle der Gesichtsfeldblende LAA/GFB synchron koordi- 
niert. Der Bildverarbeitungscomputer BVC iibernimmt dann die vom Auge 
wahrgenommenen Bild oder Bilder anderer technischer Sensoren die uber 
einen externen AnschluB EA dem Computer zugefuhrt werden und bearbeitet 
sie nach einer vorgegebenen Software SW, bevor sie mit Hilfe des Signalpro- 
zessors auf die Laserstrahlen als Bildsignal aufmoduliert werden 

Die Laser-Projektion ermoglicht auBer der Verarbeitung des aktuellen vom 
Computer verarbeitetes Bild in das Auge zu projizieren und mit dem 
Orignalbild zu verschmelzen, auch Fremdbilder, die dem Computer von ex- 
tern zugeleitet werden, dem AuBenbild im Auge synchron zu iiberlagern. 
Wenn die Zeitspanne zwischen Bildaufhahme und -Projektion im Vergleich 
zu den schnellen Augenbewegungen entsprechend kurz ist, wird das Auge, 
wie bei Betrachtung eines Fernsehschirmes, keine Bildunterbrechung mehr 
wahmehmen. 

Die getrennte aber gleichzeitige Bildabtastung an beiden Augen erfaBt auch 
die perspektivischen Unterschiede beider Bilder. Da diese bei der Laser- 
Zuriickprojektion in beiden Augen erhalten bleiben, ist eine Wiederherstel- 
lung des raumlichen Sehens gewahrleistet. 

AuBer der Projektion von den Netzhautbildern nach Bildverarbeitung zuriick 
ins Auge ermftglicht die hier vorgeschlagene Einrichtung nach Anspruch 25 
auch die Projektion dieser Laserbilder direkt auf die in der Umwelt befindli- 
chen und vom Auge gesehenen Gegenstande. Dies Ausfiihrung der Erfindung 
wird schematisch in Fig. 6 durch das Umklappen des Scanspiegels um einen 
Winkel von 90° schematisch dargestellt. 



WO 98/05992 PCT/EP97/04188 

Die in der Erfindung verwendeten Bauelemente sind heute weitgehend minia- 
turisiert und kostengunstig erhaitlich. Die Strahlumlenkeinheit und Scanner 
konnen in einem einfachen Brillengestell B wie in Fig. 9 dargestellt ist unter- 
gebracht werden. Mit Hilfe von Glasfaserleitung GFL konnen Laserprojekti- 
onseinheit und Empfangseinheit abgesetzt in einem kleinen Gehause TOE , 
z.B. der GroBe eines Taschenbuches mit Batterieversorgung untergebracht 
werden. Der Datenaustausch mit einem extemen fest installierten Bildverar- 
beitungsrechner kann entweder uber Radiowellen oder Infrarotstrahler erfol- 
gen. Alle Elemente der Vorrichtung der Erfindung konnten nach dem heuti- 
gen Stand der Technik somit von einem Menschen muhelos getragen werden 
und der drahtlose Bilddatenaustausch mit dem externen Rechner wiirde seine 
unbeschrankte Bewegungsfreiheit ermoglichen. 

Die verschiedensten Einsatzbereiche der Erfindung konnen in den nachfol- 
genden vier Kategorien zusammengefaBt werden: 

Aufhahme von Bildem der Auflenwelt, ihre Verarbeitung, Zuriickpro- 
jektion und Verschmelzung mit dem Originalbild im Auge. 

• Uberlagerung von Bildem anderer Aufnahmesysteme, z.B. in von der 
gleichen Szene in anderen Spektralbereichen auf das direkte Bild. 

• Uberlagerung von virtuellen Bildem, die alleine vom Computer herge- 
stellt werden und 

Aufhahme von Bildem der Aufienwelt und ihre Laser-Projektion nicht 
ins Auge, sondern auf die gleichen, vom Auge gesehenen Gegenstande 
der AuBenwelt. 

In der ersten Kategorie sind Anwendungen mit dem Ziei, das von dem Auge 
aufgenommene Bild durch gezielte Bildsummation zu verbessem, z.B. ein 
verschwommenes oder lichtschwaches Bild zu verscharfen und verstarken, 
was fur Sehbehinderte, aber auch fur Normalsichtige von groBer Hilfe ware. 

Andere mogliche Bildanderungen waren z.B. die Anderung der Farbe von 
Objekten durch neue Farbsummation. Diese Technik konnte zur gezielten 
WeiBfirbung von bestimmten Bereichen des Sehfeldes, und damit zur Aus- 
loschung oder Verminderung der optischen Informationen verwendet werden. 
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Die zweite Kategorie beinhaltet Uberlagerung von Bildern der gleichen Sze- 
ne z.B. aus dem unsichtbaren infraroten Bereich oder von Radargeraten. Die- 
se Technik wiirde z.B. das Fahren oder Fliegen in der Nacht und bei Nebel 
oder Dunst wesentlich erleichtem. 

In medizinischen Anwendungen konnten z.B. Rontgenbilder, akustische Bil- 
der und Bilder vom Kernspintomographen dem direkten Bild des Korpers des 
Patentien oder seiner Organe zur Hilfestellung des Arztes bei der Diagnose 
und in der Chirurgie uberlagert werden. 

Die dritte Kategorie umfaBt Anwendungen, in denen das Bild durch virtuelle 
Zusatzeinblendungen erganzt werden, wie z.B. in den Anwendungen der 
heutigen HUDs bei dem Ftihren von Fahrzeugen. Die Erfindung bietet den 
zusatzlichen Vorteil der exakten Synchronisation der Einblendung mit dem 
AuBenbild. Dadurch konnten Fremdbilder auf genau definierten freien Stel- 
len innerhalb des Direktbildes, z.B. mit geringem Bildinhalt, oder als Stere- 
obild in einer anderen Entfemung als die iibrigen Gegenstande, eingeblendet 
werden. 

Zu dieser dritten Kategorie gehoren interaktive Anwendungen aus der Com- 
putertechnik, d.h. die Einblendung einer virtuellen Computermaus 
(Zielkreuzes), die alleine mit den Augenbewegungen (anstatt mit der Hand) 
uber reale Gegenstande der Auflenwelt (auch Display) gefuhrt werden. Das 
Anklicken, oder ein Befehl konnte hier durch zusatzliche Augenbewegungen 
z. B. Augenlidschlag, oder Stimme oder mit Tastendruck ausgefuhrt werden. 

Diese dritte Kategorie beinhaltet auch cyberspace-Anwendungen, d.h. die 
Einblendung von virtuellen Computervollbildern in die geschlossenen Bril- 
len. Mit Hilfe der Erfindung konnten Aufhahmen des Netzhautbildes der ein- 
geblendeten virtuellen Bilder genutzt werden, um diese gegeniiber den Au- 
genbewegungen zu stabilisieren. 

Die vierte Kategorie beschreibt eine Art "aktives Sehen", d.h. eine vom Au- 
ge gesehene und von der Abtastvorrichtung aufgenommene Szene wird in 
dem nachsten Abtastzyklus mit einem Laser-Bildscheinwerfer seriell be- 
leuchtet. Diese so beleuchtete Szene wird wieder vom Auge wahrgenommen 
und fiihrt in dem darauffolgenden Zyklus zu einem verandertem zweiten La- 
ser-Beleuchtungsvorgang, der von einem dritten Vorgang, usw. gefolgt wird. 
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In dieser Weise entsteht eine optische Ruckkoppelungsschleife, die durch 
eine entsprechenden Auslegung der Beleuchtung als positive oder negative 
Riickkoppelung fur die verschiedensten Anwendungen genutzt werden kann, 
z.B. um schwach erkennbare Objekte zu erhellen, deren Kontrast zu erhohen 
oder ihre Farbe zu andern. 
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Patentanspriiche 

1 . Vorrichtung zur Aufhahme des auf der menschlichen Netzhaut des Auges 
abgebildeten Bildes der AuBenwelt mit Hilfe einer scannenden Aufhahme- 
vorrichtung, dadurch gekennzeichnet, daB die Strahlen der AuBenwelt 
durch die Glaser einer Brille transmittiert werden, die auf ihren Innenseiten 
als gewolbte abbildende Strahlteilerspiegel gestaltet sind und daB zur Auf- 
nahme des von jedem Punkt der Netzhaut zuriickgestreuten und aus dem Au- 
ge austretenden parallelen Strahlenbundel und zu ihrer Abbildung und Um- 
lenkung eine zweiachsige Scanvorrichtung vorgesehen ist, die das Lichtbun- 
del zu einem opto-elektronischen Detektor zur seriellen Aufhahme des Netz- 
hautreflexes weiterleitet. 

2. Vorrichtung nach Anspruch 1, dadurch gekennzeichnet, daB mit Hilfe 
eines Strahlteilers Laserstrahlen iiber den gleichen Lichtweg, die gleiche 
Scanvorrichtung sowie Abbildung und Umlenkung an der Innenseite der ge- 
wolbten Brillenglaser in umgekehrter Richtung wie das Reflexbild auf die 
Netzhaut abgebildet werden. 

3. Vorrichtung nach Anspruch 1 und 2, dadurch gekennzeichnet, daB mit 
Hilfe eines Strahlumschalters Laserstrahlen iiber den gleichen Lichtweg, die 
gleiche Scanvorrichtung sowie Abbildung und Umlenkung an der Innenseite 
der gewolbten Brillenglaser in umgekehrter Richtung wie das Reflexbild auf 
die Netzhaut abgebildet werden. 

4. Vorrichtung nach Anspruch 1 bis 3, dadurch gekennzeichnet, daB die 
momentane optische Scanachse von Scanner aus gesehen in ihrer Verlange- 
rung durch das Brillenglas immer in eine lichtabsorbierende Strahlungssenke 
verlauft. 

5. Vorrichtung nach Anspruch 1 bis 4, dadurch gekennzeichnet, daB die 
Abbildung und Umlenkung der von Scanner ausgehenden Strahlenbundel vor 
der Umlenkung der Brille ins Auge mit Hilfe eines konkaven Hilfsspiegels 
abgebildet und umgelenkt werden. 

6. Vorrichtung nach Anspruch 1 bis 4, dadurch gekennzeichnet, daB die 
Abbildung der von Scanner ausgehenden Strahlbundel vor der Umlenkung 
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der Brille ins Auge sowohl mit Hilfe eines konkaven als auch konvexen 
Hilfsspiegels abgebildet und umgelenkt werden. 

7. Vorrichtung nach Anspruch 1 und 2, dadurch gekennzeichnet, daB die 
Bildabtastung und Laserprojektion im Auge gegeneinder zeitlich getrennt 
und alternierend mit einer festen Bildfrequenz durchgefiihrt werden. 

8. Vorrichtung nach Anspruch 1 bis 3, dadurch gekennzeichnet, daB wah- 
rend der Periode der Bildabtastung zeitweise auch eine Laserbildprojektion 
ins Auge durchgefiihrt wird. 

9. Vorrichtung nach Anspruch 1 bis 4, dadurch gekennzeichnet, daB die 
Abtastspur iiber die Netzhaut entsprechend den bekannten Video-Normen mit 
der Ablenkeinheit geftihrt wird. 

10. Eine Vorrichtung nach den Anspruchen 1 bis 9, dadurch gekennzeich- 
net, daB die Abtastpur rasterfbrmig iiber die Netzhaut mit einer entsprechen- 
den Auslegung und Ansteuerung der Scan vorrichtung durchgefiihrt wird. 

1 1 . Vorrichtung nach Anspruch 1 bis 9, dadurch gekennzeichnet, dafl die 
Abtastspur spiral fbrmig fiber die Netzhaut mit einer entsprechende Ausle- 
gung und Ansteuerung der Scan vorrichtung geftihrt wird. 

12. Vorrichtung nach Anspruch 1 bis 1 1, dadurch gekennzeichnet, daB im 
optischen Empfangskanal mit Hilfe von mehreren Strahlteilern und Photode- 
tektoren mehrere spektrale Bereiche des Empfangssignals unabhangig von- 
einander detektiert werden konnen. 

13. Vorrichtung nach Anspruch 1 bis 12, dadurch gekennzeichnet, daB im 
Beleuchtungskanal mit Hilfe von Strahlteilern mehrere Laserstrahlen auf die 
gleiche Strahlachse gebracht werden konnen und dadurch gemeinsam auf die 
Netzhaut abgebildet werden konnen 

14. Vorrichtung nach Anspruch 1 bis 13, dadurch gekennzeichnet, daB der 
Strahlengang der Laserprojektionseinheit und Empfangseinheit mit einer star- 
ren Strahlfiihrung ausgelegt ist. 
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15. Vorrichtung nach Anspruch 1 bis 13, dadurch gekennzeichnet, daB der 
Strahlengang der Laserprojektionseinheit mit Lasern, Bildmodulatoren und 
Strahlteilern uber eine Glasfaser an den Strahlumschalter gefuhrt wird 

16. Vorrichtung nach Anspruch 1 bis 14, dadurch gekennzeichnet, daB der 
Strahlengang der Empfangseinheit mit Photoempfangern und Strahlteilern 
uber eine Glasfaser an die Strahlumschalteinheit gefiihrt wird 

17. Vorrichtung nach Anspruch 1 bis 16, dadurch gekennzeichnet, daB im 
Strahlengang der Laserprojektionseinheit eine Strahlfokussiereinrichtung in- 
tegriert ist womit die GroBe des Bildflecks der Laser auf der Netzhaut variiert 
werden kann 

18. Vorrichtung nach Anspruch 1 bis 17,dadurch gekennzeichnet, daB im 
Strahlengang der Empfangseinheit eine variable Gesichtsfeldblende integriert 
ist womit die GroBe des Abtastflecks auf der Netzhaut variiert werden kann 

19. Vorrichtung nach Anspruch 1 bis 18,dadurch gekennzeichnet, daB das 
von den Photoempfangern aufgenommene Bild einem Bildverarbeitung- 
scomputer zugeleitet wird der synchron mit der Bildabtastung die aufge- 
nommenen Bilder bearbeitet. 

20. Vorrichtung nach Anspruch 1 bis 19,dadurch gekennzeichnet, daB das 
von einem Bildverarbeitungscomputer verarbeitete Bild der Netzhaut, mit 
Hilfe von elektro-optischen Modulatoren im Strahlengang der einzelnen La- 
serstrahlen ein Bild synchron aber zeitversetzt mit der Abtastung auf der 
Netzhaut entstehen laBt. 

21. Vorrichtung nach Anspruch 1 bis 20, dadurch gekennzeichnet, daB 
Fremdbilder von anderen Sensoren als dem Auge in dem Bildverarbeitung- 
scomputer mit dem dort abgespeicherten momentanen Netzhautbild ortlich 
und zeitlich synchronisiert wird und mit den Laserstrahlen zeitversetzt ins 
Auge projiziert werden. 

22. Vorrichtung nach Anspruch 1 bis 21, dadurch gekennzeichnet, daB In- 
formationen im Computer generiert in dem Bildverarbeitungscomputer mit 
dem dort abgespeicherten momentanen Netzhautbild ortlich und zeitlich syn- 
chronisiert wird und mit den Laserstrahlen ins Auge projiziert werden 
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23. Vorrichtung nach Anspruch 1 bis 22, dadurch gekennzeichnet, daB mit 
Hilfe eines optischen Schalters das AuBenlicht vor der Brille teilweise oder 
ganz zusperrt. 

24. Vorrichtung nach Anspruch 1 bis 22, dadurch gekennzeichnet, daB bei 
verminderter oder gesperrter Sicht nach auBen und bei Projektion von La- 
serbildern von fremden Sensoren oder Computern auf der Netzhaut auch 
wahrend der Laserprojektion diese Bilder von den Detektoren aufgenommen 
und dem Bildverarbeitungscomputer zugefiihrt werden. 

25. Vorrichtung nach Anspruch 1 bis 24, dadurch gekennzeichnet, daB die 
von der Netzhaut aufgenommenen Bilder der AuBenwelt durch Umklappen 
des Strahlenganges um 1 80° gegenuber dem Achsenverlauf ins Auge den 
Strahl in die AuBenwelt zur Beleuchtung der von dem Auge gesehenen Ob- 
jekte mit dem vom Rechner abgeleiteten Laserbild verwenden. 
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Fig. 9 




